Figuré dans toute sa splendeur sur l’enluminure des Très Riches Heures du duc de Berry, le château a connu une histoire mouvementée, échappant de peu à la démolition. La tour romane du XI^e siècle s’est vue entourée de quatre tours rondes avant d’être arasée. Louis I^er d’Anjou transforme le château en palais. Son fils, Louis II, lui donne au XV^e siècle sa silhouette actuelle.

Si le souvenir du roi René demeure, le château est resté après sa mort, pendant un siècle, inhabité, avant d’accueillir en 1589 le gouverneur protestant Duplessis-Mornay. Ce dernier fait édifier, autour du château une citadelle à bastions et redans achevée bien après sa destitution exigée par Louis XIII. Sous Louis XIV, le château, lieu de garnison et prison, se dégrade fortement et son affectation en prison d’État par Napoléon Ier le sauve de la ruine. En 1906, le château est acheté par la Ville de Saumur qui entreprend sa restauration pour abriter le musée municipal, labellisé Musée de France, avec notamment la collection du comte Charles Lair.